机器学习第二层之逻辑回归

1. 逻辑斯谛分布

逻辑回归的起源比较复杂,具体参考维基百科以及这篇博客. 逻辑回归的基础是逻辑函数,逻辑函数是逻辑斯谛分布的累计分布函数,需要首先了解逻辑斯谛分布.
逻辑斯谛分布是一类连续概率分布,它的累计分布函数是逻辑函数,形状上类似于正态分布,但是其呈现出重尾分布的特点
累计分布函数如下所示:

$F(x;\mu ,s)={\frac {1}{1+e^{-{\frac {x-\mu }{s}}}}} ={\frac 12}+{\frac 12}\;\operatorname {tanh}\!\left({\frac {x-\mu }{2s}}\right)$

曲线图如下:

概率密度函数如下所示:

$f(x;\mu ,s)={\frac {e^{-{\frac {x-\mu }{s} } } }{s\left(1+e^{ {-{\frac {x-\mu }{s}} } }\right)^{2}}}={\frac {1}{4s} }\operatorname {sech}^{2}\!\left({\frac {x-\mu }{2s}}\right)$

曲线图如下:

2. 逻辑回归

线性回归确定决策边界，通过决策符号来判断属于哪一类，这个过程属于感知机(二元线性分类器)的范畴。逻辑回归试图使得输出值等于概率比值取对数(这个量也被叫做log odds )。李航的统计机器学习的定义：输出Y=1的对数几率是由输入x的线性函数表示的模型，即为逻辑斯底回归模型，所以逻辑回归的思路是先拟合决策边界，再拟合分类边界和概率的关系

逻辑回归二分类问题的y的类别判定服从伯努利分布
逻辑回归多分类问题的y的类别判定服从多分类分布

标准逻辑函数

$\sigma (t)={\frac {e^{t}}{e^{t}+1}}={\frac {1}{1+e^{-t}}}$

假如t是随机变量x的线性函数,逻辑函数如下:

$F(x)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}$

此时F(x)可以理解为独立变量”success”的概率
亦即二项逻辑回归的条件概率分布如下:
逻辑分布的累计概率分布函数即逻辑函数是逻辑回归用于分类的点密度函数值

$P(Y_{i}=1)={\frac {e^{ {\boldsymbol{\beta}}_{1}\cdot\mathbf{X}_{i} } }{1+e^{ {\boldsymbol{\beta} }_{1}\cdot\mathbf{X}{i} } } }$ $P(Y_{i}=0)={\frac {1}{1+e^{ {\boldsymbol {\beta } }_{1}\cdot \mathbf {X} _{i} } } }$

3. 逻辑回归的几个特点

事件的几率是指事件发生的概率和不发生的概率的比值,事件的对数几率(log odds)或logit函数是

$g(F(x))=\ln \left({\frac {F(x)}{1-F(x)}}\right)=\beta _{0}+\beta _{1}x,$

逻辑函数的导数

$\frac{d}{dx}f(x) = f(x)(1-f(x))$

4. 逻辑回归监督分类的优化

使用极大似然估计法估计模型参数

$L(w)=\prod _{i=1}^{n}p(x_{i}\mid \theta )=\prod _{i=1}^{n}[p(x_{i})]^{y_{i}}[1-p(x_{i})]^{1-y_{i}}$

对数似然函数为

$L(w)=\sum _{i=1}^{n}[{y_{i}}(wx_{i})-log(1+e^{wx_{i}})]$

此时,问题转换成以对数似然函数为目标函数的最优化问题,常用梯度下降算法和拟牛顿算法求解

5. 梯度下降算法

梯度下降的推导

6. BFGS

7. 正则化

正则化因子

8. 逻辑回归和其他模型的关系

参考资料